我正在尝试在我的本地MAC机器上设置hbase。我通过brew安装了hadoop和hbase。hadoop和hbase的版本分别是2.7.1和1.1.2。我正在尝试以伪分布式模式运行并希望禁用身份验证，因此在以下文件中进行了以下更改。我正在使用hbase动物园管理员。以下是启用SIMPLE身份验证的更改/etc/hadoop/core-site.xmlhadoop.security.authenticationsimplehadoop.security.authorizationfalse还对libexec/conf/hbase-site.xml进行了以下更改hbase.rootdir

阅读Hadoop生成的系统日志，我可以看到与这行类似的行..2013-05-0616:32:45,118INFOorg.apache.hadoop.mapred.JobClient(main):Settingdefaultnumberofmaptasksbasedonclustersizeto:84有谁知道这个值是如何计算的？我怎样才能在我的程序中获得这个值？ 最佳答案 我搜索了Hadoop的源代码，但根本没有找到字符串Settingdefaultnumberofmaptasksbasedonclustersizeto(而我找到了其

创建可用于读取/写入HDFS的文件系统对象的正确方法是什么？在我发现的一些例子中，他们会做这样的事情:finalConfigurationconf=newConfiguration();conf.addResource(newPath("/usr/local/hadoop/etc/hadoop/core-site.xml"));conf.addResource(newPath("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));finalFileSystemfs=FileSystem.get(conf);从配置类的文档来看，如果该文件位于类路径

我的maptask超时，退出代码为143，我认为这是内存问题。据我了解，根据我的设置，每个容器将接收3gb内存，其中2.5gb将分配给java堆。当我在yarnWebUI上检查内存可用性时，我看到MemUsed从未通过MemAvail但我的工作在600秒后超时。这会不会是因为我的工作使用了过多的Java堆并崩溃了？mapreduce.map.memory.mb3072mapreduce.map.java.opts-Xmx2560M 最佳答案 你的映射器正在执行一些需要超过600秒的任务，节点管理器认为它已经死了，因此将它杀死。请在执

我是yarn的新手，我正在用Java编写一个YARN应用程序。根据要求，我只能在一台机器上使用N个物理内核。YARN允许设置我想分配给我的应用程序的VCore数和内存。是否可以确定给定N个物理核心的VCore数量？例如。如果我有32个物理内核，而我只想使用8个物理内核，那么我的应用程序的VCore数应该是多少？ 最佳答案 使用8Inalmostallcases,anode’svirtualcorecapacityshouldbesetasthenumberofphysicalcoresonthemachine.http://blog

我知道客户端机器查询名称节点来存储它包含的数据。此外，客户端计算机将在其中安装Hadoop和集群设置。存在哪些集群设置？ 最佳答案 每当调用HDFS命令时，客户端必须向Namenode发送请求，为此需要fs.defaultFS属性。同样，在提交YARN作业时，需要yarn.resourcemanager.address连接到ResourceManager。dfs.blocksize、dfs.replication等文件级HDFS属性在客户端节点确定。如果需要更改它们的默认值，请在客户端节点添加相应的属性。通常，在Cluster节点中

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestionfacebook使用的SQL和NOSQL数据库1.是使用GFS还是HDFS还是BOTH还是其他？2.可用于HDFS和GFS的不同抽象应用层有哪些？？3.我听说过HADOOP，MapReduce是如何工作的？请说说优点。并对第二个问题也进行了深入的叙述。

我有一个2节点集群(每个节点有32GBRAM和8个内核)。我已经安装了CDH5.4。但我不认为hadoop正在使用可用内存，因为页面:8088/cluster/apps在“MemoryTotal”列中仅显示16GB。只有一次我看到“MemoryTotal”为64GB，不确定发生了什么。可能是什么原因？谢谢，巴胡 最佳答案 您必须为yarn配置每个节点可以使用的内存。此设置位于yarn-site.xml中。有一些属性可以控制节点管理器中可以为容器分配分配的最大内存。似乎您使用的是8GB的​​值(默认值)。将以下属性设置为更高的值。ya

我在centos7上使用hadoop2.7.1当hadoop集群包含高可用性时主动名称节点失效，变为备用但是webhdfs不支持高可用性？不是吗向其他事件名称发送get和put请求的替代方案应该是什么主名称节点故障的节点 最佳答案 是，WebHDFS不支持高可用性。这个问题仍然悬而未决。引用HDFS-6371相反，您可以选择HttpFs.它可与webhdfsRESTAPI和HA感知互操作。或者，编写自定义实现以将请求重定向到事件名称节点。 关于hadoop-发生故障转移时webhdfs是

你能帮我解决以下情况吗？1)在使用HadoopV2的同时，我们在生产环境中使用SecondaryNameNode吗？2)对于HadoopV2，假设我们在主动/被动连接中使用多个NameNode以实现高可用性，并且当编辑日志文件变得越来越大时，编辑日志如何应用到f​​simage？如果是这样，那么在Namenode启动期间将巨大的Edits日志应用到Namenode会很耗时吗？(我们在hadoopv1中有SecondaryNameNode来解决这个问题) 最佳答案 回答您的问题:1)在使用HadoopV2时，我们是否在生产环境中使用S